"""
	爬取数据
	数据存储
	数据处理：
		数据清洗
		去重
	建模
"""
import pandas as pd
import numpy as np

if __name__ == '__main__':
	data = pd.DataFrame(pd.read_excel('test.xlsx'))

	# axis=0 按照行，=1 按照列 ,删除超过1 个为空的，inplace = true  在原数据操作，false 生成新数据，原数据不变
	data.dropna(axis=0, thresh=2, inplace=True)
	data.reset_index(drop=False, inplace=True)

	# 填充地址的空白
	data.fillna({'地址': 'gansu'}, inplace=True)

	# 删掉性别是女的
	for i in range(data.index.max()):
		if data.loc[i, '性别'] == '女':
			data.drop([i], inplace=True)
	data.reset_index(drop=False, inplace=True)

	# 删掉重复数据，保留出现的第一行
	data.drop_duplicates(keep='first', inplace=True)
	data.reset_index(drop=False, inplace=True)

	# 数据对行重排
	# 生成随机数
	ran = np.random.permutation(data.index.size)
	new_data = data.take(ran, axis=0)

	# 随机采样 8 条
	n_data = data.sample(8)

	print(data)
